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Про компанию 


Очцаасоде — международная продуктовая компания, 
которая создаёт программное обеспечение 
для торговой и инвестиционной индустрии. 


Пользователей Языков 


Установок приложений Стран 


Моя команда 


Юра Игорь Кирилл Рома Антон Костя 
Теат 1еаа ОРе\мОрз ОРе\мОрз ОРемОр$ Ргодис{ Ргодис{ 
Мападег Омлпег 


И принимавшие участие ранее 


=» © 5. © 
и 


Вова Саша Денис Сергей 
ОРе\мОрз Со ОРе\уОрз ОРемОр$ 
ОРеуеюрег 


Миша Стас 
ОРе\уОр5 РеуОрз 


Вова 
ОРе\мОрз 


Что будет в докладе 


Ретроспектива жизни Ваге Маа|-кластера, а также*: 
® Как докатиться до 4 часов при скейле ноды. 


® Как сократить это время до 3 минут, когда уже 
докатились. 


® Как А\\/$, ССЕ, РО собирают свои кластеры, и что можно 
перенять у них в Ваге М&а1. 


* возможны флешбэки 


Про наши кластеры 


3 К8$-кластера, по одному в окружениях: 
|пга, Ргергоа, Ргоа 


го мы № 


РО, 24.25 |2120 СРО, 13.25 


Предпосылки. 
До 2017 года 


Предпосылки. Архитектура 


Монолит + Микросервисы 


М!сгозегмсе$ 


МопоШВ 


Предпосылки. Архитектура 


Ваге Мща! + (ХС Сощатег$ 


Предпосылки. Архитектура 


Отдельная команда эксплуатации. Процесс заказа серверов. 


К8$ 
Р1аМогт 


пНа-зирром 
шебуршит 
начальную 

настройку 


Ореп$аск 


мы настроили 


Предпосылки. Архитектура 


Роскег для ае\у- и{е$1{-окружений 


Предпосылки. Итого 


® Модное на тот момент желание 
переехать на микросервисы. 


® Много разного неудобного рантайма: 


вроде (ХС, вроде где-то просто 
настроенные сервера. 


Хотим один рантайм, 
чтобы править всеми! 


Выбор инструмента оркестрации. 
02 2017 


Предпосылки 


Выбор 
инструмента 


Выбор инструмента. 
5е{-Позе4 или облако 


Зе\-Позеа: Облако: 

® Можно потрогать. ® Нельзя потрогать. 

© Требования безопасности © Ходят слухи, ЧТО управлять облаком проще. 
и бизнеса: 


® Гребования безопасности и бизнеса: 


о Всё должно быть 
во внутреннем сетевом 
периметре. 


° Всё должно быть во внутреннем 
сетевом периметре — нужно идти 


к пос’ам и узнавать, Сколько стоит. 


° Низкая |аепсу. 
о Низкая |аепсу — нужно идти к пос’ 


ам. 


Выбор инструмента. 


Ожидаемая стоимость кластера, просто 


Железо: 


® Мастера и рефлекторы 
поменьше 8 СРУ/64 СВ — 190 в 
месяц х 6. 


Ноды побольше 40 СРУ/256 СВ 
— стандарт поставки дата-центра 
=585 в месяц х 5 для начала. 


&55 800 в год 


Облако: 


® Атагоп ЕК$ — 75 в месяц. 


е Атагоп ЕС2 — &6603 в месяц. 


278 132 в год 


Выбор инструмента. 
Ожидаемая стоимость кластера 


ассаепта! 
50,252 


Дополнительная инфраструктура облака — „ 
=78 132 плюс стоимость: ь 


® \/РС. 

е ТС\/. 

е Огес соппес. 

® АВ, ЕСВ, МЕВ, МЕР. 
® \/РС рееппд. 

© ЕТС. 


© 


1`°5\ : 4. 
асаен\а!| 
`’ $50252 
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Выбор инструмента. 


Ожидаемая стоимость кластера, сложно. 


Экспертиза, люди, процессы 


Чо, 


Выбор инструмента. 
Решения для Ваге Ме*а| 


Если Баге тета|, то какой? 


< 


у Кор$ Кибетее$ ТНе Нага М/ау 
3 . РЯ 
= МЭ © 


Бу Ке|5еу НаМомег 


® Поднимает кластер к“ КИВЕЗРВАУ е® Очень подробный 
в облаке на ЕС2 КАМСНЕК ® Идеально, чтобы учиться 


® Нужно автоматизировать 


Выбор инструмента. 
Кибезргау: 


® Написан на Ап! Ее. 


е Позволяет настраивать компоненты. 


® Подготавливает окружение. 


® Разрабатывался М!апи$. 


Внедрение. 
ОЗ 2017 


Предпосылки 


Выбор 
инструмента 


Внедрение 


Внедрение. 
Что включила в себя эксплуатация 


Стандартные операции: 


® Раскатка кластера. ® Апгрейд софта ноды: Роскег, Кете|, 


Ес. 
® Скейл кластера. 


® Апгрейд версии кластера. 
® Разработка процесса для ввода 


приложений в К8$, авторизации, ® Обновления сертификатов К8$, СМ, 
рекомендуемых пайплайнов Ес. 


ДЕПИОНЕЕ С: Размер кластера: 


5 +20 нод 
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Предпосылки рефакторинга. 
2017-2019 


Перерыв на соо! $огу 


Предпосылки. Проблемы 


Физический переезд Ма$ег-серверов 


Старый ОС Новый ОС 


| 
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Предпосылки. Рост времени 
выполнения стандартных операций 


Стандартные операции: 


® Раскатка кластера: 0,5 часа + 4 
часа. 


© Скейл кластера: 0,5 часа + 4 часа. 


® Разработка процесса для ввода 
приложений в К8$, авторизации, 
рекомендуемых пайплайнов 
деплоя, «с.: М спринтов + 
поддержка. 


® Апгрейд софта ноды (Роскег, Кете|, 
ас.): несколько дней. 


® Апгрейд версии кластера: не 
пробовали + квартал с двумя 
кластерами. 
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Предпосылки. Рост времени 
выполнения стандартных операций 


Сейчас время выполнения КиБезргау в затр!е-конфигурации: 
1004@0626177349123: /киБезргау# апз161е-р1аубоок -и ибипфи -6 -1 1пуепфогу/1пуепфогу.1п1 с1изфег.ут1 


7: 


3 ноды 
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Предпосылки. Чему мы научились 
и какие выводы сделали 


Разобрались: Какие выводы: 
е® В переменных Кибезргау. ® Кирезргау долго скипает таски. 
® Как работает СМ|. е Нужен не любой, а наш, настроенный, 


работающий кластер с нашими 


® Как работает К8$5. 
переменными. 


® Зггода назад мастера через Кибезргау 
скейлить нельзя, но мы примерно 
представляем как. 


® Нужен инструмент, которому можно 
делегировать стандартные операции. 
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Выбор инструмента 
ОЗ 2019 


Предпосылки 


Выбор 
инструмента 


Внедрение 


Выбор инструмента. 
КиБеаат 


® Вышел из беты. 


® Команда получила контекст, поняли, что 
можем делегировать некоторые 
процессы. 


е Кибеаат становится рекомендуемым 
способом оперирования К8$-кластером, 
в том числе и в официальной 
документации. 
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Внедрение. 
04 2019 


Предпосылки 


Внедрение ВЫ ОВ 


инструмента 


Внедрение. Свой плейбук 


# Сгеафе аицд1Е ро11су Т11е$ оп еасй тазфег (Тог ар15егуег ап Та1со) 
— 105{5: Кибе-тазфег 
Бесоте: уез 
го1е5: 
- { гое: Кибегпефе$-аи91*-ро11су, ад: "Кибегпефез-аи914-ро11су" } 
1ад$: ["зефир-сТизфег", "К8$-аи91{-ро11су"] 


# 5ефир Т1г5Ё тазЁег (Киреаат 1п11). ТЕ 15 ехесиеа оту оп Т1г5Е р{ау оп Т1г$ тазтег. 
— Во5%5: Кибе-тазтег [0] 
Бесоте: уез 
го1ез: 
— { гое: Кибеадт-1п1%, ад$: "Кибеадт-1п14" } 
1ад$: ["зетир-сТиз{ег", "Кибеадт-1п1т"] 


# бепегате уо14п Токеп$ апа }о1п пем тазтег5/поаез 1п сС1изтег. 
— Во5%5: Кибе-таз%ег [0] 
Бесоте: уез 
го1е$: 
— { годе: Кибеадт-]о1п, ад$: "Кибеадт-]о1п"} 
{ад$: ["зефир-сТизфег", "Кибеадт-)о1п"] 


# 5ефтир са!1со из1пд Вет 
— В05%5: Кибе-таз+ег [0] 
Бесоте: уез 
го1ез: 
— { го1е: Кибегпетез-пефмогК1пд, тад5: "Кибегпефе$-петмогк1пд"} 
{адз: ["зефир-с1из{ег", "КиБегпефе$-пефмогК1пд"] 


АДА Табе! ап апота1оп$ оп по4ез Тог тападе Та14п{$ из1пд Вет: 
арр.Кирегпете$.1о0/тападеа-ву: Нейт 

тета. Вет. 5В/ ге1еазе-пате: поае-та1пЕ5-—1аБе1$ 

тета. вет. 5В/ ге:1еазе-патезрасе: Кире-зузЁет 

— по$+$: Кире-тазфег[9] 

Бесоте: уез 


+++ 
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Что включила в себя эксплуатация 


Стандартные операции: 


® Раскатка кластера. 
© Скейл кластера. 


® Апгрейд софта ноды: Ооскег, Кете|, ес. 


Апгрейд версии кластера. 


® Обновления сертификатов К8$, СМ|, Ес. 


3 ноды 


Размер кластера: 


20 + 100 нод 


. 


Что мы поняли еще через 2 года 


Стандартные операции: 


® Раскатка кластера: 10 минут + 1,5 часа. 

® Скейл кластера: 10 минут + 1,5 часа. 

® Апгрейд софта ноды (РоскКег, Кегпе|, ас) + несколько дней. 

® Апгрейд версии кластера: пробовали + Кибеаат стал поддерживать 


апгрейд с 117. 


Пришлось переезжать ещё раз в течение полугода. 


Э9 


Кажется, мы всё это 
проходили ОЗ 2021 


Предпосылки 


Выбор 


Внедрение 
ЕР РИШИИИ — инструмента 


Я БЫЛ ТАМ... ЭТО БЫЛО ЗП00/ЛЕ ТНАЗАД. 


Мотивация 


Предпосылки 


Выбор 
инструмента 


Внедрение 


Мотивация 
перемен 


Мотивация. Та же самая 
задача — развернуть кластер, но: 


® Время поднятия < 3 минут на ЕС2. 
® Число нод — произвольное. 


® Число кластеров — произвольное. 


Текущий флоу не подойдёт, потому что: 


Мы не сможем сделать это руками даже с запуска джоб. 


Чтобы делать динамический инвентори, нужно делать автоматизацию. 
® Если нужно делать автоматизацию, то зачем автоматизировать прокатку плейбука, если нам 


нужно автоматизировать поднятие кластера. 


Неудобно каждый раз прогонять плейбук на все тестовые среды, которых у нас “200 в день. 
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Мотивация. Рго $ 


® Можно обеспечить постоянную и ежедневную проверку конфигурации 
на работающих тест-окружениях. 
© Где-то здесь должно быть что-то, чтобы не катать наши железки 4 часа, 


попивая чай и ожидая $@«еиг /4е\у/пи! от ансибла на одной из 100 нод. 


Еафа1: : ЕАТЬЕО! => {} 
М5С: 


Еа11еЯ фо аее 1пЁЕогхша&1оп оп гешофе #11е (/хоо®/.БазВгс): Сои1Ап'Е ореп /аемИто11: Орега&1оп поЕ регил+феа 
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Декомпозиция процесса 


Предпосылки 


Выбор 
инструмента 


Внедрение 


Мотивация 


екомпозиция 
перемен д :- 


Декомпозиция процесса. Нага \мгау 


Вернёмся в самые дебри и посмотрим, что предлагает Пага \ммау: 


13 на каждом члене &са-кластера 


ЕЕ 
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Декомпозиция процесса. 
Документация К8$ 


Бустрап еса 


Кибеаат 


Бустрап К8$ 
Провижн СА и создание сотго! р!апе 
сертификатов для соп\го! 


р!апе 


Генерация конфигов К8$ 
для аутентификации 
Бустрап нод 


Генерация конфига и КиБеаат тЁ —сопЯа 


ключа шифрования $Безай/БезкиБеаЧт.соп{ 


Бустрап еса 
Установка 


СМ 


Бустрап К8$ согиго! р!апе 


КиБеаат от 
К8$-ар!зегуег.Би!а1267216443 
-{океп уоцсапизетеапумНеге 
--@!зсомегу-юкКеп-са-се{-На$П 
зНа256{гуюаесгуритепавна 
—-согиго|-р!апе --сег[Яса{е-Кеу 
юмпеБезБаскаоогуоемеоипа 


КиБеаат от 
К8$-ар!зегуег.БиЙа1267216443 
-Аокеп уоцсапизетеапумйеге 
--Я!5соуегу-4океп-са-се{-На$П 
зНа256{гуюдесгуритевнаНа 
--сеНса{е-Кеу 
омпеБе{Баскаоогуоемеоипа 


Бет та! сайсо 
ргоес{сайсо/Чдега-орегафог 


--мег$юп \3.231 --аюпс 


--патезрасе #дега-орегафог 
—КиБесопЯд=/гоо\.киБе/сопйа 


Декомпозиция процесса. ЕМепаск 
А ноду забутстрапить можно и просто вот так: 
Заранее сгененируйте для КиБеега сертификаты для авторизации 


с]1еп{-сег{1{1са{фе: /уаг/116/Кибе1е+/рк1/Кибе1е{-с]1еп{-сиггеп{ .рет 
с]11еп{-Кеу: /уаг/116/Кибе1е+/рк1 /Кибе1е{-с11еп{-сиггеп* .рет 


Доставьте на ноду вместе с 
"с11еп{САЕ11е": "/ефхс/Кибегпетез/рК1/са.ст{" 
/етс/Кибегпе{е$ /КибБе1е{/Кибе1е{-соп{!19.]$0п 


И запустите КиБев{ с ключом --гед!ег-по4е 
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Прототипирование 


Предпосылки 


Выбор 
инструмента 


Внедрение 


Мотивация 


екомпозиция 
перемен д в 


Прототипирование 


Прототипирование. Делаем прототип 


Ставим плейсхолдеры в дгоцр$ уаг$, для КиБеаат.сопт 


ех_епаро1п*: 'В{р$://--ОЕХ_ООМАТМ--/' 
Кибе_ар15егуег_Таап: '--АРТ_$ЕКУЕВ_ООМАТМ--' 
ефсЧ_епаро1п{$: ['--ЕТСО_ООМАТМ--'] 


Кибегпете$_\мег$1оп: 1.21.13 
Кибегпете$_и{11$_мег$1оп: "{{ Кибегпефе$_муег$1оп }}-00" 


гоо*@1оса1Ноз* : /езс/Кибегпе*ез# саф Кибеадм. сопе 
ар1\Уетз1оп: Кибеадм. К8$.10/у16бефа2 
К1па: С1изфетСопР1дита*1оп 
1тадеверо$1огу: К8$.дсг.1о 
сег{1Т1сафе$01т: /ефс/Кибетпеже$/рк1 
с1и$фетМате: Кибетпе{те$ 
Чп$: 

фуре: Согебм$ 
КибегпетезУет$1оп: "\1.21.13" 
соптто1Р1апеЕпаро1п*: --АРТ_ЗЕВУЕВ_ООМАТМ№М--:6443 


ефса: 
1оса1: 
зегуетСет {$ А№ : 
— —ЕТСО_ООМАТМ-- 
рее’гСег{5АМ№$ : 
— —-ЕТСО_ООМАТМ-- 
Чафа01т: /уаг/116/етса 
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Прототипирование. Делаем прототип 


Проп исываем метаданные инстансам: 


>» саф иа-аесодеа 
{ 
"аота1п$Еп\у": "ВАЗЕ _ООМАТМ=* 
АРТ_5ЕК\УЕК _ООМАТМ=* ЕТСО ООМАТМ=*", 
"тазфегАдаг": "та$фег01.6и11а126.*", 
"КибеподезАааг": "поде01.Би1149126.* 
поае02.6и11а126.* поде03.6и114а126.*", 
"тубота1п": "поде@3з.6и114а126.*", 
"туКо]1е": "“поае“" 


} 
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Прототипирование. Делаем прототип 


Пишем скрипт в сючца-тК, чтобы забрать метаданные и 
запустить поднятие кластера: 


ФупсЕЗоп тазп () +4 
109 м "${РУМСМАМЕ[ О] }" "5+аг{1п9 Кобегпефез$ сТиузфег зефир ог 3о4п +0 ех15{еа" 
ЧомпТоаЧ9Метадата 
ех{гас{Мефадата 
ехрог{бепага\Изаде\аг$ 
зе{Нозпате "${НОЗТМАМЕ}" 
сазе "$4{В01Е}" 1п 
"пазфег" ) 
зефирМазфег 


АГ 


"пазфегРо\Ломег" ) 
зефорМазфегРо\Ломег 


г! 


"поде" ) 
зефор№оЧе 


1! 


* ) 
109 е "${РОМСМАМЕ[ О] }" "№ 1пзЕгосЕЗопз$ Фог гоТе ${В0ЕЕ}" 
ех1+е 1 
езас 


} 
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Прототипирование. Что получилось 


® Правда 3 минуты. 

® Правда сколько угодно кластеров, пока есть инстансы в 
облаке. 

® Правда непонятно, как скейлить и обновлять, но об этом 
позже. Мы же тут для тестовых коротко живущих сред 


поднимаем (ну, в общем случае). 
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Прототипирование. Как у вендоров? 


ЕК$ (от по4е$5) 


г00{@01р-19-236-98-29 /]# дгер ек$ /уаг/109/с10и4-1п1*-оч{рит{.109 
АРТ_ЗЕВУЕК_ЧУВЬ=ПЕ{р$ : //582Е9ЕА156АС4С6840А53С91ЕАФО4АУАВ9 .дт7.еи-сепфга1-1.еК$.атахопам$ . сот 
/ефс/екз/Боот${гар.$Н 4е1ете-те --КибБе1ет-ехфга-агдз '--поде-1аБе1$з=еК$ .атахопаш$ . сот/подедгоир-1таде=ат1-004е93 


ТОКЕМ=$(де*_кокеп) 

АМЗ _ЕЕАИЕТ_ВЕСТОМ=$ (дет _пета_Чата 'атезЕ/дупапс/1пзтапсе-14епЕ#ху/доситепт' | 39 «тедфоп -г) 

АМЗ_ ЗЕВУТСЕЗ _РОМАТМ=$ (де\_пека_ЧаЕа '1а1ез1/пега-даКа/зегу1 сез/дотайп' ) 

МАСНТМЕ$ (ипапе —п) 

РАЦЗЕ_СОНТАТМЕВ_АССОЙМТ=$ (де%_реизе_сопказпег_ассоип\ _Рог_гедфоп "${АНб_ОЕРАУЕТ ВЕСТОМ}") 

РАЦЗЕ_СОНТАТМЕВ _ТИАСЕ-${РАИЗЕ_СОМТАТМЕВ_ТМАСЕ ; -ЗРАУЗЕ _СОМТАТМЕВ_АССООМТ „кт .ест. ЗАМ _ОЕРАЧЕТ _ВЕСТОМ. $АМБ_ЗЕВМТСЕЗ _ООМАТМ/еКз/раизе} 

РАОЗЕ_СОМТАТМЕВ=" ЗРАЦЗЕ_СОМТАТМЕВ_1МАСЕ: ЗРАЦЗЕ_СОМТАТНЕВ_МЕВЗТОМ" 

СА_СЕЯТТЕТСАТЕ _ОТАЕСТОВУ=/етс/ киботпетес /ркЕ 

СА_СЕАТТЕТСАТЕ_ЕТЦЕ_РАТН$СА_СЕЯТТЕТСАТЕ_ОТЯЕСТОВУ/са. сте 

пкафг -р $СА_СЕАТТЕТСАТЕ _ОТВЕСТОВУ 

амз еКз ма? с1изтег-асА ме гед1оп=${АНЗ_ОЕРАМЕТ_ВЕСТОМ} —папе=${СЦЗТЕВ _МАМЕ} 

амз еКз ЧезсеЯБе-сЛизфег --геозоп=${АМЗ_ОЕРАИСТ_ВЕСТОМ} -—-пате=${СНИЗТЕВ_МАМЕ? —оибрих=Кехе --ашету 'с1изег, {сет 1сакелиног1урата: сете 1сажелиног4%у.Чафа, епфрофпт: епарофл+, зегу1сеТру4Са@ г: Кибегпе 
ЧезМемоткСоп! 19. зетузсеТру4С19т, зегузсеТрубсаат: кибетпетезМенотКСоп! 19 .зегузсетрубс1ат, с1изкегТрЕатЗ1у: КиБегпеке зМеиогкСоп "та. 1рРат#1у, оиброзАгп: оиброз4Соп19.оиброзтАгиз [8], +9: 49}' > ЗОЕБСАТВЕ СЦУЗТЕ 
В ВЕЖАТ || г0=$? 

В64_СЬИЗТЕВ_СА-$( сах ЗОЕЗСВТВЕ СЬИУЗТЕВ_ВЕЗУСТ | аик '{ртёпе $13') 

АРТЗЕНУЕВ_ЕМОРОТМТ=$(сат ЗОЕЗСАТВЕ СЫУЗТЕВ_ВЕЗИЕТ | амк '4рефпе $3} ') 

СЦЗТЕВ_1О_ТМ_ОЕЗСЕТВЕ _СНОЗТЕЙ_ВЕЗУЕТ=$(сат ЗОЕЗСВТВЕ_СКУЗТЕЯ_ВЕЗУСТ | аик '{рифпе $43) 

ОИТРОЗТАВМЕ$(са1 ЗОЕЗСВТВЕ_СТИЗТЕЙ_ВЕЗИСТ | айК '{ре1л $5}') 

ЗЕАУТСЕ ТРУд_СТОВ=$( сах ЗОЕЗСВТВЕ СЦИЗТЕВ_ВЕЗИСТ | аик '{ргёле 363") 

ЗЕВУТСЕ ТРУ _СТОВ=$( сат ЗОЕЗСРТВЕ СЦИЗТЕВ ВЕЗУТ | аик '{ргфле $7}") 

есло $864 СЬИБТЕВ_СА | Баве64 -9 > $СА_СЕЯТТЕТСАТЕ_ЕТЬЕ_РАТН 

506 -1 5, МАЗТЕВ_ЕМОРОТАТ , АРТЗЕВУЕВ_ЕМОРОТМТ, 9 /узт/14Б/коье1е/кибесоп+19 

506 —1 5, АЗ _ВЕБТОМ, ЗАМ _ОЕРАИСТ_ВЕбТОМ, 9 /уат/11Ь/кибелет/киБесоп!19 

ООМАТМ_МАМЕ=$(есно "ФАРТЗЕВУЕВ_ЕМОРОТМТ" | аик -Е/ ‘рези $3}' | аик -Е: '4репЕ $1}*) 

декепЕ НозЁз "ЗООМАТМ МАМЕ" | ЗВиЁ >> /ес/нозЕз 

зед 1 з, СУЗТЕА_НАМЕ, ЗСКОЗТЕВ_10,9 /уат/13/КибеТек/КуБесоп 19 

КУВЕТЕТ_ЕХТВА_АЯб5="—Бооез&гар-Кибесоп #19 /мак/ЛЗЬ/КиБете«/Боо%з&гар-КибесопЕ9 ЗКУВЕГЕТ_ЕХТАА_АВСЗ" 

НН киБе1ее.зету1се соп1дига оп 

МАС$(де*_тега_Чата '1ахез1/тета-дата/петногк/4птетРасез/тасс/' | неа -п 1 | зеа '5/\/$//') 

045 _СЬУЗТЕВ_1Р="${0№5_ СЧУЗТЕЯ_ТР}" 

КУВЕСЕТ_СОМЕТС=Иетс/КиБетпете$ /кибе1ет/Кибе1ет-соп{19 оп 

еспо "$34 ".с1изтего\$=[ \"$04$_СЦУЗТЕВ_ТР\"]* ЗКИВЕСЕТ_СОМЕТ6)" > ЗКИВЕЦЕТ_СОМЕТО 

МАХ_РО0З_ЕТЕЕ=" /екс/еКз/епЗ-пах-ро4з ке" 

зе{ +0 рёре{а11 

МАХ_Р005=$(са& $МАХ_Р00З_РТЬЕ | амк "/^${ТМЗТАМСЕ_ТУРЕ:-ипзе®}/"' { рези $2 }") 

МАХ_Р0р5=$( /е4с/екз/тах-родз-са1си1афог. В —1пвхапсе-Куре-Ргот-1п4$ —сп1-уегзЗоп 1.19.0 —Но-пах-211оме4) 

еспо "$(34 '. += {"еузст4опНата": {*тетоту.ама#Лабле": "19041", "поЧеге.ауаЗ1аь1е": "19%", "подетз.ЗподезЕкее": "5%"}}' ЗКУВЕКЕТ_СОМЕТб)" > ЗКОВЕКЕТ_СОМЕТб 

есно "$(34 —-агд пеБЗБутез_то_гезетуе "${пеБЗБутез_ко_гезегуе}М4" —-агд сри_п#114согез_то_гезетуе "${сри_п4114сотез_го_тезегуе зп" '. += {КИБепезегуед: {"сри": $ери_п411согез_хо_тезекуе, "ернетега1-<тогаде": 
"161", "пепогу": $пеБ3Бутез_го_тезегуе}}' ЗКИВЕГЕТ_СОМЕТ6)" > ЗКИВЕГЕТ_СОМЕТ6 

еспо "$(34 *.тахРодз=$МАХ_РО0З" ЗКИВЕГЕТ_СОМЕТВ)* > ЗКОВЕЕЕТ_СОМЕТ6 

пког -р /е%с/зузета/ зузКет/Кибе1е* .зету1се.9 

сае <<ЕОР > /етс/зузКепд/ зузкеп/кибе1е*. зетузсе.4/10-Кубе1е-агаз. сопР 

саЕ <<ЕОР > /сус/зузкепа/ зузкет/сопЕазлетЧ. зетузсе.4/19-сопра*-зуп1 пк. сопР 

пкозк -р /ехс/воскег 

Бавв —с "/зЬ1п/Яртаблез-зауе > /етс/зузсопт19/Яртаьез" 

ср -и /етс/екз/1ртабез-гезтоте зету1се /етс/зузтепа/зузтеп/1реаь1ез-гезкоге. зегу1се 

зид0 сВоип тоот:тооЕ /етс/зузтет@/зузтет/1ргаБ1ез-гезтоте зетусе 

зузтетсЕ1 даепоп-ге1оа4 
зузфепс1 епаБ1е 1руаБ1ез-гезфоге 
еспо "ЗрОСКЕВ_СОМЕТС_250М" > /екс/доскег/Чаето 
еспо "$(3а '.Бтадде="доскехо" | ."11уе-гезуоге 
зувкетсЕ1 опаб1о КуБо1ое 
зузтепс1 такт кибе1ех 


9зоп 
'813е' /е&с/доскег/даетоп.3зоп)" > /е&с/доскег/даетоп. 3зоп 


Прототипирование. Как у вендоров? 


ОЗ Ка! осеап 


100{@роо1-111т5оото-7раео: /уаг/116/с1очц9/зст1рЕ$/рег-1пз{апсе# 11п4 /\уаг/116/с10оч4/ -пате жК8$ж* 
/\аг/116/с1оч9/зст1р\$/рег-1п$Фапсе/090-К8зааз 


К85АА$_РИВЕТС_АБОВЕЗ5="$(сит1 -—-гефгу 30 -Е5$ Н{Ёр://169.254.169.254/тетадата/\1/1птегРасе$/риб11с/@/1р\у4/аЧатезз)" 
К85АА$_РВТ\УАТЕ_АБОВЕ$5="$ (сиг1 —гефжгу 30 -Р5$ ПЕ{р://169.254.169.254/тетадата/\1/1пфегРасез/ру1уате/@/1р\у4/адатезз)" 
ехрогЕ К8ЗААЗ_РУВЕТС_АООВЕ$$ 

ехрог{ К85ААЗ_РВТУАТЕ_АООВЕ$$ 

К85АА$_РКО\ТОЕВ_Т0="4191{а1осеап://$(сит1 —-гефгу 30 -55Р ВЕр://169.254.169.254/тетаЧафа/у1/14)" 

ехрогт К85ААЗ_РВОУТОЕВ_ТВ 

< <(дтер ^К8заа$_ < /уаг/116/с1ои9/1п5Тапсе/изег-да{а.{х{) 


сазе "${К8ЗАА$_ВОГЕ:-}" 1п 
маз+ег) 
тт -Г /ефс/зузфета/ зузфет/Кибе1ет{ .5ету1се.4/10-Кибеадт. сопР 
тт -Т /116/зуз+ета/ зуз{ет/киБе1е*. зегу1се 
/{орЕ/К8зааз/Боот${тар-тазфег 


КиБе1е{ ) 
тт -Т /е+с/зуз+ета/зуз+ет/киБе1е*. зегу1се.9/19-КиБеадт. сопР 
тт —Г /116/зузета/зузет/киБе1е{. зегу1се 
/ор*/К8$аа$ /Боо+$+тар-КиБе1ее 


| В 
еспо 'Аззит1па Кибеа@дт ичзаде' 
ех1+ 9 
жж) 
еспо "Боп'{ Кпом го1е ${К85АА$_ВОГЕ}. \а119 орЕ1опз: [тазфег/кКиБе1е{]" 
ех1Е 1 
езас 
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Прототипирование. Как у вендоров? 


ОЗ Ка! осеап 


Метаданные в файле 


гоо{@роо1-11т5оото-7рдео: /уаг/116/с1ои9/зст1р$/рег-1п$апсе# саф /уаг/116/с1ои9/1пзтапсе/изег-дата.+х+ 

#с1ои4-соп{119 

К8заа$_го1е: КиБе1е*е 

К85ааз_тазфетг_Чота1п_пате: "а+639391-5146-463е-а+95-8046228саБЗ2 .К8$.оп9191+а1осеап. сот" 

К85ааз_Боо+$+гар_фокеп: "07рдео.9е081а8 469 с81а9" 

К8$аа$_ргоху_фоКеп: "а11Р8с43е4963с4е96659566ае994са12ет94091574с0е82978838са986е79334" 

К8заа$_са_сег{: "----- ВЕСТМ СЕВТТЕТСАТЕ----- \пм11032ССА9+аАмТВАЗТСВпИмО@УКо7ТПусМАСЕТВОАММ 2 ЕУМВМСАЛОЕСВММВ 61 п\ паХВВЬЕ9; 2МЕиМВомбАУБУСОБЕХЕХОНМИУХМа02х1с3В1 
с1ВООТАеРм9 ум ЕмМОИх \ пм) ЕУМОМаЕм 9 9М7 ЕмМОУхМ ЕУМОМамМОМхЕТАТВЯМУВАОТОЕВ р7210У\хРУ2УНЬ] Еа\пМВябАЛОЕАХМВатв2УМЕ2ТЕМ$ЧХМ07Х1900ЕМддЕЗМАОСС$ АС ТЬЗОВЕВАСИАА4АТВ\пОм 
АмодЕКАОТВАСОСЕ8а0/СУРТХа$ 49 +90\мЕамабак$МЗупУ9ЦИХп6№охРтае0т\У9 \пМТЕтТу17132е3+7РаТх65ВрУ2пРН1сКкаКт4Т4413ЕВ1 9117519 тКхЭтНМ КМа118\пехА253УВеБзбеуд7ЕЕ М2 ВЕТКЕ 
16мМ6ХЬ2Т373ЕК$ОЕВ+/бВа11Т7УЗЗТЗп+робт; \пдаК11амтиурР791Еп04ЦуВр-+уо8У$ЕиНХстСОдо] ЕСВ1т3)е+хРб2тагОРстЕО6МТ$\пТ2мук/тогкКУНАЕЕКМИ/УЕ7К29сНМТ№40К9ЭНС$218хКг\У091п1 
Су5УСтТЗ0ВМУР\п9209МуК9дтУд зорМЕ2Е6Н;Н+Ух@$11М№71схАОМВААС ВТВОМА4САЛИЧОмЕВ/мОЕ\пАмТВН]АЗВОМУНЕМВАТВЕСОАСАСН/ АЗЕАМВОСА1ИЧО9СМВВТ9952МР21Т3и$$29НС\пмист5Ату 
М] АМВаКапк1С9м0@ ВАО $ ЕААОСАДЕАДОУСаХНОТ+М1+К3У+Нх /Ум8Рпкрт\пмти31ХУ$пКНсгеуг6КСБабВК9Ку7$11х0КиБт 51 70АТма108уук66ОВТОТАЕу9+3\пН99$ас4Р4НадчЕЕимМТе\7 /5РОЕН1МУРхо 
ОЗЁЕ\Уа10+КЕУРЧИт{8+981п7х9а5еМп7$\п810ЕЕБТЕе@01аР+74г4/КМ№о31№1хХКХ22ВРСсВтКЧЕС861 / }аЕр/Хет2у\уАМТ+а6с\паТсЭ\аЕВ210741\07№07ЕРермМу2М9КТАЦИ1 и5рерТ9901\Х21УХмб94Т 
9] тубхЕ\пиР239рАдА87А20у9369Мс1МВрт@ЕекЕчЕт\а1№3 $ТуРох)пА@1НЗ8х3 /СА==\п----- ЕМО СЕВТТЕТСАТЕ----- \п" 

К8зааз_оуег1ау_зибпе*: "10.244.0.0/16" 

К8заа$_с1изег_ии19: "а+639391-5146-463е-ат96-8046228сабЗ2" 

К8зааз_Чпз$_зет\1се_1р: "10.245.0.10" 

К85аа$_ср_6т19де_1р: "100.65.1.152" 

К85аа$_по4е_1абе1$: "4ок$ .9191{а1осеап.сот/поде-19=77057064-2566-40918-8624-616981591154, доК$ .4191+а1осеап.сот/поде-роо1-19=9908454а-7461-4е3с-а99а-#66086ТЗа 
512, ЧоК$ .9191+а1осеап.сот/поде-роо1=роо1-111т5оото, 4оК$ .4191+а1осеап. сот/\уег$1оп=1.24.4-40.0" 


Прототипирование. Как у вендоров? 


А что это за сервисы такие красивые в СКЕ 


дке-ту-Р1х:$4-с1и${ех-1-4еРаи14+-роо1-За2323+е-1Р5т5 - # дгер -г КиБе /уаг/109/с10и49-1п14-оц{ри*.109 

Стеафе4 зут11пК /ефс/зуз+ета/зуз+ет/КиБегпе{ез .тахгде* .мап+$/киБе-поде-1пз{а11а%1оп.зег\у1се > /ефс/зузфета/зузфет/киБе-поде-1пз{а11а41оп.зег\у1се. 

Стеафе4 зут11пК /ефс/зуз+ета/зуз+ет/КиБегпе{ез .тахгде* .мап+$/киБе-поде-сопР1дига{1оп.зегу1се > /ефс/зуз+ета/зуз+ет/киБе-поде-сопР1дига*1оп. зет\у1се. 

Стеафед зут11пК /ефс/зузфета/зуз+ет/киБетгпете$ .тагде* .мап{$ /киБе-сопфазпег-гип1те-топ1фог.зегу1се > /ефс/зузфетд/зузфет/КкиБе-сопталпехг-гип{1те-топ1Фох.зехгу1се. 
Стеафед зут11пКкК /ефс/зузфета/зузтет/КкиБетпете$ .тагде* .мап{$ /киБе1е{-топ1от.зегу1се > /ефс/зузфета/зуз+ет/киБе1е{-топ1 {ог . зегу1се. 

Стеафед зут11пК /ефс/зузфетд/зуз+ет/киБегпете$ .тагде* .мап{$ /киБе-1одтофате.+1техг > /ефс/зузфета/зузфет/киБе-1одтго{ате . +1тег. 

Стеафед зут11пК /ефс/зузфета/зузтет/киБегпетез .тагде* .мап{$/кибе-1одтотате.зеху1се > /етс/зузфета/зузфет/КиБе-1одтотат{е . зегу1се. 

Стеафе4 зут11пк /ефс/зузтета/зузтет/ти1{1-изег. агдет .мап{$/киБетпетез .татгдет > /ефс/зузфета/зузфет/кКиБегпет{е$ .тагдет. 


дке-ту-#1х:51-с1из+ехг-1-4еРаи1*-роо1-3а2323+е-5щ5 - # зузфетсе1 11$4-Черепдепс1ез | дгер Кибе 
о ибетпет{е$ .тагде{ 
о ибе-сопфа1пег-хип&1те-топ1 Фот . зегу1се 

иБе-1одтофа{фе.зеху1се 


иБе-поде-соп1дита*1 оп. зегу1се 


ибе-поде-1п$+а1]а%1оп.зег\у1се 


Прототипирование. Как у вендоров? 


СКЕ — главное 


9Ке-ту-Р1:$1-с1и${ег-1-дегаи1{-роо1-3а2323те-15т5 - # саф /Поте/КиБегпе{е$ /61п/соп®1дите-ве]1рехг. В 
3725 
дКе-ту-1Е1:$+-с1изех-1-деРаи1+-роо1-За2323+е-Р5щ5 - # саф /поте/Кибегпетез$/61п/соп1дитге.зй | мс -1 
1269 


Метаданные всё так же забираются со своего АР! 


Типс{1оп 9омп1оад-Кибе-тазфег-сег{$ { 
# Ретсй Кибе-тазфегт-сегф$ Тгот ССЕ тетадафа зегхуехг. 
( 
итазк 9077 
10оса1 -г 1тр_Кибе_тазтехг_сег{$=" /+тр/Кибе-тазфег-сет{$ .уат1" 
# зПе11сНеск 915а61е=$С2086 
тефгу-Рогеуег 109 сиг1 ${СИВЕ_РЬАС$} \ 
—Н "Х-60091е-Метадафа-Ведиез*: Тгие" \ 
—о "${{тр_Кибе_тазфег_сехг*$}" \ 
ВЕЕр: / /мтетадата. 90091е.1п%егпа1 /сотри{еМетада{а/\1/1пзтапсе/а++х1би+е$/Кибе-тазфетг-сег{$ 
# Сопуегф {Пе уат1 Роттаф №11е 1пфо а зНе11-5%у1е ге. 
е\уа1 "$(ру{Воп3 -с ''' 


| мс -1 
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Прототипирование. Как у вендоров? 


Давай расскажу, 
как кубернетисы поднимать 


, Ты чё пес, 
я зетог ропт ог 
уат! агсИКестог! 


Ты же просто 
Киреадт 
выполняеш 
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Мы уже крутые? Не совсем 


Что имеем: 


® Н\/-кластера с их 
проблемами всё так же на 
месте. 


® Унас появилась ещё 
одна точка поддержки. 


Какие сделали выводы: 


По-другому можно. 
По-другому несложно. 


Возможно проще, чем было 
раньше. 
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Мы уже крутые? Не совсем 


Предпосылки 


Выбор 
инструмента 


Внедрение 


Мотивация 
перемен 


Декомпозиция 


Внедрение 
(но уже другое) 


Прототипирование 


Внедрение. Чего минимально 
не хватает каждой системе 


Нагамгаге: Для облака: 

® Система инвентаризации. ® Процесс скейлинга кластера. 
® Сервер метаданных. ® Процесс апгрейда 

® Пулл-система обработки метаданных. существующих кластеров. 


Внедрить несложно, сложно 
дождаться, когда станет нужно 
для бизнеса. 


Внедрить можно за месяц, 
согласовывать нужно 2 года. 
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Предпосылки 


Выбор 
инструмента 


Внедрение 


Мотивация 
пермен 


Декомпозиция 


Внедрение 
(но уже другое) 


Прототипирование 


Выводы. Какие проблемы 
можно приобрести 


® Это уже не пуш-система. Сделанная вручную ошибка скорее всего уже будет 
подхвачена — это типичная проблема пулл-систем. 

® Га! Та${ — ти${ Пауе. 

® Нужно решить вопрос А/В-тестирования конфигурации. 


® Система становится сложнее: 


Добавил в инвентори — пошёл смотреть в лог. Несколько независимых систем: 
® ргомюопег инстансов; 
поставщик метаданных; 


© 
® поставщик снепшотов; 
® система, оперирующая нодой на основе метаданных. 
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Выводы 


Над нами сейчас вот такие задачи, и именно таким подходом 
мы хотим их решить: 


® Апгрейднуть ядер для 100 нод за час. 
® Уверенность в Ч!5а$ег гесоуегу. 
® Все окружения раскатываются одинаково. 


® Нет зависимости от размера или количества кластеров. 
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Выводы 


В каком порядке мы будем идти дальше: 


Добавить скейл и апгрейд на ЕС?2-кластера. 


Согласовать с другими командами и бизнесом 
инструментарий. 


® Внедрить. 


Перезагрузить ноды кластера. 


Понять все доп. системы, необходимые вокруг Ваге Мща|. 
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Выводы. Оглядываясь назад на 5,5 лет 
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ТРапк уои! 


| Обратная связь 
'и комментарии 
по докладу по’ссылке 
\ | \ \ | | 
° | Илья Устинов 
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